非对称跨 LLM 上下文迁移：KV 缓存跨模型复用
🧭 LLM 异构部署 · KV cache 跨模型迁移
Tsinghua University, Beijing, China
提出 ACCT，将源模型 KV 稀疏转换为目标模型可直接消费的状态，削减 75% KV 仍匹配原性能
📌 工作参考价值（4 点）
- 在电商多模型/Agent 路由中，可以把共享长上下文（会话历史、商品详情、检索文档）先由低成本源模型做 prefill，再由同 family 的大目标模型复用其 KV，省掉重复 prefill，适合动态路由频繁切换模型的在线服务。
- 借鉴 Cartographer 的 query-relevant 稀疏化：对每层每个 KV head 分别选择与当前 query 相关的 context token，比全局 Top-K 更精细；推荐系统里长用户行为序列或多模态商品上下文也可以按 query/候选 item 做非对称稀疏化，而不是固定截断。
- Allocator 的“全局 KV 预算下逐层/逐 head 分配”思路可用于模型服务：给深层/浅层或不同 attention head 分配不同的缓存 token 数，在 latency/cost 约束下最大化长上下文任务效果。
- 工程实现上，Compiler 把不同 hidden size 的源 KV 映射到目标模型，意味着上下文计算与最终推理可解耦，适合 Agent 系统里同一上下文被多个异构模型消费的架构，能简化上下文缓存服务。
快手摘要注意力 V2 技术报告：C-KSA 与 S-KSA
🧭 长上下文高效注意力 · 二级KV压缩与稀疏索引 ★ 深度解读
Kuaishou
在 Hybrid KSA 上新增 C-KSA 与 S-KSA，把 Summary 同时用作可二级压缩 KV 记忆和稀疏索引，128K 下 KV cache 减少 40.4%、prefill 达 1.51×
📌 工作参考价值（4 点）
- 如果业务中已有或计划引入 Summary/landmark token 机制，可参考 C-KSA 的二级压缩：把每 km 个 Summary KV 池化为 layer-local Meta entry，Summary 序列继续按原粒度前向传播，远程缓存按 ks*km 倍压缩。这样可以从已有 Hybrid 模型低成本 retrofit，不用重新设计 chunk size。
- S-KSA 的 block-level routing 比 token-level 索引候选数少 b 倍，适合在电商搜索/广告 Agent 的长候选列表、长商品序列中做稀疏读取；其默认参数 b=4、remote budget K=4096、local window 1024 可作为起步配置，block size 放大到 8 会明显掉点，需谨慎。
- 如果只允许训练新模块，可冻结 backbone 做 module-only 适配：C-KSA 先对齐 attention 输出再全参微调，S-KSA 用 dense teacher 蒸馏 block 选择，18.5B tokens 即可接近 parent；block teacher 用 max pooling 不要用 sum pooling，后者会稀释 salient token 信号。
- 注意失败模式：频繁词提取等全局聚合任务在 128K 下从 45% 跌到 26.67%。若业务需要跨长上下文做类目频次、属性统计等聚合型召回/排序信号，应保留 dense 分支或额外聚合结构，不要完全依赖 sparse attention。
FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。
SANTA++：通过代表性键采样注意力以减少 KV 读取
🧭 LLM 长上下文推理 · 稀疏注意力采样 ★ 深度解读
University of California, Santa Barbara · Flucta
训练自由随机注意力方法，用代表性键路由团队采样，以 16%-22% KV 读取保留 94%-99% 精度
📌 工作参考价值（4 点）
- 在需要长上下文 LLM 推理（如用户长期行为序列、商品详情、多轮对话历史）的服务中，采用“代表性键 + 团队采样”做 decode 期稀疏 attention，可在 KV 读取降到 16%-25% 时仍保留接近 dense 的精度，适合降低在线推理成本。
- prefill 后一次性用 k-means 或 contiguous 分块构建 parent groups，再在每个 parent 内选 actual-key representatives（首点最近均值，后续逐次最远点），decode 阶段固定复用；避免逐 token 全量扫描，尤其在 batch-one 长序列下成本低。
- GQA 架构下，多个 query head 共享 KV head 的团队划分与代表键读取，但各 head 独立采样并保留自己的 inclusion correction，可进一步提升吞吐；与 MLA 等压缩 KV 表示互补，已在 DeepSeek-V2-Lite 上验证仍有 token 稀疏性。
- 实际部署注意：contiguous 分块可省去 k-means 预处理，虽然某些任务略降精度但访问更低；预算 S 是团队数而非 token 数，需要按团队大小和头间重叠重新估算实际 KV 读取。
HySparse2：两级 KV 共享的混合稀疏注意力
🧭 长上下文高效稀疏注意力与 KV 共享 ★ 深度解读
Xiaomi LLM-Core
通过两级 KV 共享使 prefill 只跑一半模型，同时提升长上下文检索并降低 KV 缓存
📌 工作参考价值（4 点）
- 在电商/搜索 Agent 场景，工具返回长文本、多轮会话累积导致 prefill 成为主要延迟；可借鉴 self-decoder/cross-decoder 分离：prefill 只执行 self-decoder（约半模型），cross-decoder 的 full-attention KV 由 self-decoder hidden states 投影生成。在 prefill-decode disaggregation 下，prefill 节点只需部署一半权重，显存和算力直接减半。
- 稀疏注意力选择粒度很关键：对多轮 Agent 轨迹、检索历史，token-level top-k 明显优于 block-level（RULER-v2 +6.57、2-needle MRCR-v2 +8.14、GraphWalks +5.55）。如果业务正在用 block sparse 做长上下文召回或会话压缩，且 token-level kernel 可用，应尽早切换；至少在检索关键层保留 token-level。
- 强制最近窗口进入稀疏选择，可以替代单独的 SWA 分支：省掉额外投影参数、局部 KV cache 和级联依赖，使 early exit prefill 成为可能。对需要保留最近会话/商品浏览状态的推荐 Agent，固定保留最近 128 token 是低成本且有效的局部建模。
- KV Bridging 只在 full-attention 层间连接，保留独立投影但共享 source hidden，可以在几乎不损失质量的前提下压缩 KV cache（1M 时 2.69GB vs 6.72GB/12.09GB）。对超长上下文电商 Agent，可考虑用跨层 KV 共享替代或叠加量化压缩。
Fathom：面向 offloaded KV cache 的按查询读取深度稀疏解码
🧭 LLM 稀疏注意力推理优化
按查询动态分配 bit 预算扫描量化 KV cache，在 offload 场景下减少带宽并加速解码
📌 工作参考价值（4 点）
- 如果业务中长上下文 LLM（如电商客服 Agent、浏览助手）的 KV cache 被 offload 到主机内存，top-k 扫描会成为解码瓶颈；Fathom 的按查询动态位预算可以直接用于减少跨 interconnect 的字节流量。
- 采用 4-bit K cache 按 channel-major 位平面存储，查询利用 reverse water-filling 在 variance-weighted channel importance 上分配读取位数，可以在相同 GPU 耗时下读更少字节、获得更低注意力误差，适合对延迟敏感且 buffer 在 host memory 的线上服务。
- 该方法在 RULER 任务上每个 token 扫描匹配 exact top-k，说明动态位分配不会牺牲 ranking 准确性，可安全替代固定位宽扫描（如 Double Sparsity、Loki、SparQ）以降低带宽成本。
- 注意：该方法仅在 KV 索引驻留主机内存时有效，GPU 常驻 cache 不需要；工程落地时需先判断索引位置，避免盲目引入。
重新思考面向子二次注意力的异构系统解聚
🧭 LLM 推理 · 子二次注意力异构解聚
Harvard University · NVIDIA
提出按二次/子二次注意力拆分 decode 的细粒度异构解聚方案，显著提升子二次注意力 LLM 的吞吐与能效
📌 工作参考价值（4 点）
- 若业务中采用线性/稀疏/滑动窗口等子二次注意力 LLM 做在线推理（如 query 理解、生成式推荐、Agent 工具调用），可将 KV 检索类算子（如 top-k 选择）部署在 DRAM 带宽大的 LPX 类设备，将静态内存的注意力+FFN 部署在 SRAM 算力设备，降低跨设备通信并提升 tokens/J。
- 稀疏注意力 decode 可拆成两阶段：top-k 选择需要扫描全量 KV，但计算轻；top-k 注意力+FFN 内存占用固定。这一特性可指导推理系统的流水线设计，避免将 KV 索引放在算力型 GPU 上造成内存瓶颈。
- 系统解聚不应按 attention/FFN 操作类型，而应按算数强度与内存占用拆分；对于混合注意力架构（部分层 dense，部分层子二次），可把 dense 层放在 GPU、子二次层放在低功耗设备，实现能耗与延迟的更好折中。
- 论文主要是底层系统优化，与推荐/广告算法逻辑无直接关系，可借鉴点主要在工程部署和硬件选型。
CRISP：基于结构质量路由的悬崖感知输入自适应稀疏预填充
🧭 动态稀疏注意力·长上下文预填充优化 ★ 深度解读
University of Oregon · Adobe Research · Hanoi University of Science and Technology
用结构质量代理替代JSD路由，以噪声地板阈值替代累积覆盖阈值，消除长上下文预填充的O(n)噪声积累
📌 工作参考价值（5 点）
- ## 可借鉴点
- 如果电商/Agent 场景中需要对长商品描述、评论、用户会话或多轮记忆做长上下文 LLM 推理加速，prefill 阶段可优先考虑动态稀疏注意力；CRISP 的 Cstruct 路由只需最后 query block 的代理注意力在首尾 anchor 区间做切片，省去 JSD 需要的 pooled matmul 与 KL 开销，工程实现更轻。
- 稀疏 token/block 选择不要用固定累积覆盖（如 top-p 累计 0.95）。有 attention sink 的模型容易早停在 sink 漏掉信号，或为凑阈值收 O(n) 噪声；改为相对噪声地板阈值（如 block 质量 p_j > αμ），α=1.0 可作为免调默认，业务侧更稳。
- 部署时建议加 context length 门限：论文在 8k 时稀疏仍比 dense 慢约 4x，64k 以上才开始反超；短 prompt 服务不必开启稀疏预填充。长上下文 RAG/检索类任务收益最大，聚合/多跳任务需评估精度-覆盖权衡。
- 可复用 VS/PE 双路径思想：对低熵/高集中 head 用结构模式选择，对高熵 head 用 pooled estimation；不要对所有 head 使用同一种稀疏策略。
学会遗忘：长上下文稀疏注意力的微调方法
🧭 长上下文稀疏注意力微调 ★ 深度解读
Amazon Web Services · University of Amsterdam · Amazon · Technical University Berlin
提出在任意 KV cache 策略下微调 LLM 的方法，使模型与稀疏注意力协同适应，在中等 GPU 上超越序列并行训练
📌 工作参考价值（4 点）
- 训练/推理一致性：若线上推理启用 H2O、SnapKV 等稀疏 KV cache 策略，微调时务必使用同一策略做前向，否则模型在稀疏推理下会出现输出过长、乱码；论文中 SP 训练模型在多个 Helmet 任务上严重退化。
- 低成本长上下文微调：单卡 40GB 可用 LoRA + 嵌套激活检查点 + CPU offload + delta encoding 处理 KV cache，将 autograd 显存降至与推理相当，适合多轮对话、长工具输出、长行为序列等场景。
- 缓存策略 trick：H2O 归一化累积注意力分数、batch 维度独立淘汰、保留少量 attention sink 前 β 个 token，能提升长上下文稳定性；避免全局统一淘汰。
- 工程落地：可复用 KeysAndValues 库快速对比策略；推动 SDPA kernel 支持返回 summed attention weights 和隐式 causal mask，降低稀疏注意力延迟。
OasisKV：通过前瞻稀疏预取将解码KV缓存扩展至HBM之外
🧭 LLM推理优化 · 稀疏KV缓存与层次化预取
Imperial College London · KAIST · Microsoft Research · University of Edinburgh
利用推测解码提前预测重要KV块，实现稀疏注意力与多级预取，在有限HBM下提升推理吞吐达2.1倍
📌 工作参考价值（4 点）
- 结合推测解码与KV缓存管理：生成lookahead tokens时记录注意力，预测未来重要token，仅将稀疏的KV保留在HBM，可大幅减少显存占用，适用于长上下文服务（如用户行为序列、商品详情等需要长文本理解的场景）。
- 多级存储分层设计：冷KV块存于主机内存，通过异步流水线预取到HBM，避免解码延迟，可将HBM视为KV缓存的“热数据”缓存，类比推荐系统中的特征缓存策略。
- 基于vLLM实现，易于集成：工程上可直接在vLLM中扩展，业务中若使用vLLM部署LLM推理服务，可通过该稀疏预取方案提升吞吐，尤其适合批量推理和长序列场景。
- 显著降低KV传输与主机内存压力：在prefill-decode分离架构下，传输KV量减少6.5-9.7倍，解码节点内存减少2.2-2.6倍，可降低跨节点通信成本，利于大规模推荐Agent系统部署。
页面局部紧凑键摘要用于高效长上下文解码
🧭 KV cache 压缩 · 稀疏注意力
通过页面局部光谱摘要和稀疏选择，大幅减少长上下文解码中 KV cache 读取量，保持质量
📌 工作参考价值（4 点）
- 电商推荐中常需用 LLM 建模长用户行为序列，LOCKS 的页面级压缩可将序列分块，每块保留紧凑谱摘要，在生成时仅注意 top 块，降低长序列推理延迟
- 该选择机制只基于摘要估计注意力质量，不读取原始键值，适合在推荐 query 生成等需要可控延迟的场景中部署
- 可作为 vLLM 插件直接集成到现有推理服务，无需修改模型，对已部署推荐系统的 LLM 组件改造成本极低
- 长形式推理（如 Agent 多步规划）收益最大，若推荐 Agent 需要长上下文推理，此方法可明显提升响应速度
FVAttn：视频生成的自适应稀疏注意力与运行时负载均衡
🧭 分布式推理·稀疏注意力负载均衡
中山大学 · Tencent Inc. (WeChat HPC) · Tencent Inc. (WeChat Vision) · 北京大学
提出训练无关的自适应稀疏注意力系统，通过运行时头迁移与空闲填充解决多GPU序列并行的负载不均，推理加速超2倍
📌 工作参考价值（4 点）
- 自适应稀疏中的 Top-p + Top-k 地板 组合策略：确保每个注意力头至少保留 k 个高相关 token，避免完全稀疏导致的训练/推理不稳定，在 LLM 长上下文推荐对话或 Agent 记忆检索时可借鉴此安全机制。
- 运行时负载均衡通过 P2P 迁移少量“重头”到轻载 GPU，这对多 GPU 部署推荐模型（如生成式推荐、多模态理解）时的序列并行头负载不均问题有直接参考价值，可降低栅极延迟。
- Slack-Aware Sparse Augmentation 利用非关键路径 GPU 的空闲时间计算额外高价值块，这种“空闲填充”思路可迁移到分布式 Agent 流水线调度，在等待 I/O 或其他 Agent 结果时执行预取或候选评分。
- 将稀疏计算与负载均衡、通信重叠结合的整体系统设计，展示了在工业级推理服务中如何兼顾精度与吞吐，推荐系统从业者可将类似思想用于大规模模型的多路召回或多专家（MoE）推理的负载均衡。
仅索引一次：跨层稀疏注意力与共享路由
🧭 长上下文推理 · 稀疏注意力架构
Microsoft Research · Tsinghua University
在 KV 共享架构上复用路由索引，跨层共享 token 级 top-k 选择，以极低开销实现高精度稀疏注意力，大幅提升长上下文推理效率。
📌 工作参考价值（4 点）
- 长上下文推理效率优化：在电商搜索/推荐 Agent 中，需要处理大量历史对话或商品描述时，可借鉴 CLSA 的共享路由思路——使用 YOCO 类架构共享 KV 缓存，并让不同层复用相同的 top-k 路由索引，极大降低 token 稀疏注意力的路由开销，实现接近 block 稀疏的速度却能保持 token 级精度。
- 工程实现 trick：对于已使用 YOCO 或类似 KV 共享的 LLM 服务，只需额外实现一个跨层复用的 indexer，预填充时计算一次 token 级 top-k，解码时各层直接读取该索引进行稀疏注意力，几乎不增加额外成本，即可将长上下文解码吞吐提升数倍。
- Agent 多轮交互场景：当 Agent 需要在长多轮对话中维护完整上下文并频繁解码时，CLSA 能将 KV 缓存存储大幅减少（因子为数倍），并保持解码速度，同时质量几乎无损，适合部署在资源受限的在线服务中。
- 生成式推荐中的长序列生成：若用 LLM 生成个性化推荐理由或连贯的 item 序列，CLSA 可加速长序列的自回归解码，降低延迟，尤其适合对实时性要求高的推荐场景。
Vortex：面向AI Agent的高效可编程稀疏注意力服务系统
🧭 稀疏注意力服务系统 · AI Agent 自动化研究 ★ 深度解读
Carnegie Mellon University · Rice University · National University of Singapore
一个将稀疏注意力算法表达、部署与评估深度融合到LLM服务框架中的系统，使AI Agent可自动生成并迭代优化稀疏注意力，实现高达3.46倍吞吐提升且保持精度。
📌 工作参考价值（4 点）
- 可编程的稀疏注意力抽象（vFlow）：通过两阶段（缓存预处理与查询索引）的简单编程模型，快速实现各种动态稀疏模式，避免大量重写底层算子的工程开销，可直接借鉴到推荐模型中对长序列注意力的定制化改造。
- 兼容现有服务基础设施的vTensor抽象：原生支持分页KV cache、prefix caching等，确保理论加速转化为端到端吞吐提升，这种“不破坏现有栈”的设计思路可迁移到推荐系统大模型推理优化中，减少与生产环境的脱节。
- AI Agent 驱动的算法自动搜索与迭代：论文展示了AI代理利用Vortex一次性生成多样性稀疏算法并在长周期自主优化，形成精度-吞吐 Pareto 前沿，此类结合系统快速反馈的自动化调优流水线可应用于推荐模型的超参数搜索或结构优化。
- 随机化 radix top-k 的精度-速度权衡：通过随机早停降低 top-k 计算开销，可应用于推荐系统中高效召回或注意力选择阶段的 top-k 操作，在轻微精度损失下换取显著加速。
用指数衰减记忆增强注意力提升查询感知KV稀疏性
🧭 查询感知KV稀疏 · 指数衰减记忆增强
EPFL · CLAIRE
利用RAT+的指数衰减记忆模块，一致提升Quest、MoBA、SnapKV等查询感知稀疏方法在长上下文任务上的准确性。
📌 工作参考价值（4 点）
- 若电商或Agent系统中部署长上下文LLM（如处理长对话或大量商品描述），可借鉴引入指数衰减记忆模块，继续少量预训练后，配合现有稀疏方法（SnapKV、Quest）大幅减少KV cache内存占用，几乎无损精度。
- 只需追加10B tokens的持续预训练即可让标准模型适应记忆模块，实现即插即用，对资源有限的业务微调较友好。
- 论文提出的两个假设（记忆使注意力头更专注、帮助模型更早定位关键token）可指导设计更适合稀疏推理的架构，例如在注意力头中融合指数衰减偏置。
- 在工程实现上，该记忆模块以递归方式维护KV状态，可与主流稀疏推理框架整合，适合需要高吞吐、低延迟的长上下文服务。
可积弹性神经需求网络：从需求表面直接导出稳定的价格弹性
🧭 可积弹性需求建模与弹性稳定估计 ★ 深度解读
IAMM Research, DAMM
ICDN 通过可积的神经需求表面学习 log-需求，用解析样条和稀疏注意力直接导出稳定、经济合理的有向交叉弹性
📌 工作参考价值（4 点）
- 将价格作为独立分支输入，上下文编码器输出条件系数，使需求表面随季节、促销、门店等动态变化，直接支持价格模拟而非仅做点预测。
- 稀疏注意力图选择 top-k SKU 对，将交叉弹性计算从 O(n²) 降至 O(nk)，冻结后可用于大规模商品场景。
- 自身价格曲率平滑度惩罚和弹性带惩罚可有效抑制导数噪声，得到更稳定的弹性估计，避免过拟合导致怪异正值或异常交叉弹性。
- 显式样条基与解析导数使得弹性计算无需自动微分的完整雅可比，可在 GPU 上高效训练，适合电商中成百上千 SKU 的日常定价决策。
DashAttention：可微分自适应稀疏层级注意力
🧭 自适应稀疏层级注意力 · α-entmax 路由 ★ 深度解读
Tsinghua University · Instituto Superior Técnico, Universidade de Lisboa · Carnegie Mellon University · Sapienza University of Rome · University of Edinburgh
用 α-entmax 替代 top-k 实现可微分、自适应块选择，在长上下文任务中同时提升精度与速度。
📌 工作参考价值（4 点）
- 在推荐系统的长用户行为序列中，可借鉴分块摘要 + α-entmax 路由的设计：先学习每个块的轻量表示，再用 α-entmax 动态选择相关块，替代固定 top-k，使模型能按需关注任意数量的历史块，提升长序列建模的灵活性。
- α-entmax 的可微稀疏性让块选择能够端到端训练，避免硬截断带来的梯度断裂，适合需要可学习稀疏门控的生成式推荐（如 Semantic ID 序列建模）或 Agent 记忆检索模块。
- 两阶段“粗筛+细读”范式具有工程复用价值：第一阶段用廉价摘要快速评分，第二阶段仅在保留块内计算完整 token 级注意力，可在推理时大幅降低计算量，同时保持精度，适用于工业级推荐模型的服务优化。
- 论文的局部注意力摘要初始化技巧（从均值池化平滑过渡）及 GPU 友好的 Triton 实现策略（块摘要缓存、位掩码压缩、单次融合 pass）可直接启发推荐系统在处理超长序列时的特征工程和系统实现。